黄仁勋的鱼与熊掌，训练推理都要在英伟达平台
将AI视为未来几年内全球股市增长引擎的木头姐凯西·伍德，前一天在股东信中警告，现在的英伟达像极了在1997年到2000年期间，经历股价“抛物线”的思科公司。思科股价的崩溃，很大程度上因为在互联网泡沫时期，下游的互联网企业尚未建立起真正可行的盈利模式；英伟达的“思科时刻”，则在暗示大模型泡沫也将因为那些大模型企业或AI应用企业无法建立可持续的盈利模式而破灭。这种担忧一直存在，越来越明显。英伟达离市值泡沫还有三道防线，很重要的因素就在于它能不能进一步提升推理效率，以及将推理场景从云端扩大到更广阔的边缘与端侧。英伟达CEO黄仁勋肯定认为这一切都没问题。最近，他回到了他的母校美国斯坦福大学，详细谈到英伟达的市场价值定位、通用人工智能的发展、AI算力的增长，以及推理市场的生态问题。以下是黄仁勋对“推理是一个基于安装的问题”的详细解释，并不担心在推理领域遇到竞争。
附文字记录
问：
你可能知道，最近有一些报道说，英伟达将在推理市场面临比在（模型）训练市场更激烈的竞争。
但按照你的说法，这两个其实是一个市场。能否评论一下？是否会有独立的训练芯片市场和推理芯片市场，或者说你们会不断地训练并切换到推理，也许用一个芯片就能实现？
黄仁勋：
今天，当你给人工智能一个提示时，可能是ChatGPT，可能是Copilot，可能是你现在使用的一个服务或平台，比如Midjourney或是Adobe的Firefly，无论你何时提示，它都在做推理。当你这样做的时候，它会为你生成信息。它的背后是什么？100%都是英伟达的GPU。所以在你推理的时候，大多数时候你在使用我们的平台，所以今天世界上百分之百的推理都是通过英伟达进行的。
那么，推理是难还是简单呢？很多人为什么选择推理？当你在英伟达系统中看训练的时候，当你盯着它的时候，你会说，这的确太难了，我不会那么做的。我们是一家芯片公司，这看起来完全不像只是芯片干的事。你必须努力去证明一些东西是有效的还是无效的，这是很自然的事情。你投入了20亿美元，然后你意识到这不是很有效——你投入了20亿美元，两年的时间——探索新事物的风险对客户来说太高了。所以很多竞争者倾向于说，我们不喜欢训练，我们喜欢推理。
推理是非常困难的。我们来想一下，推理的响应时间必须非常短。但这还是推理中简单的部分，这是计算机科学的部分。推理最难的部分是，推理从业人员的目标是吸引更多用户将软件应用到更大的安装基础上。推理是一个基于安装的问题。
这和在iPhone上编写应用程序没什么不同，之所以这么做的原因是iPhone拥有庞大的安装基础，几乎每个人都有一台苹果手机。如果你为iPhone写了一个应用，它会让每个人都受益。就英伟达而言，我们的加速计算平台是唯一一个几乎无处不在的加速竞争平台，因为我们已经在这方面研究了很长时间。如果你写了一个推理应用程序，你把这个模型部署在英伟达架构上，它实际上可以无所不在地运行着，你可以接触到每一个人，你可以使它产生更大的影响。所以推理的问题实际上是安装基础的问题，而这需要巨大的耐心，年复一年的成功以及对架构兼容性的专注等等。